针对夜间场景光线微弱、能见度低导致夜视图像信噪比低、成像质量差的问题，提出了基于深度学习的双通道夜视图像复原方法。首先，用两种基于全连接多尺度残差学习分块（FMRB）的卷积神经网络（CNN）分别对红外夜视图像和微光夜视图像进行多尺度特征提取和层次特征融合，从而得到重建的红外图像和增强的微光图像；然后，两种处理后的图像通过自适应加权平均算法进行融合，并根据场景的不同自适应地凸显两个图像中具有更高显著性的有效信息；最后，得到分辨率高且视觉效果好的夜视复原图像。使用基于FMRB的深度学习网络得到的红外夜视重建图像，相较于卷积神经网络超分辨率（SRCNN）重建算法得到的在峰值信噪比（PSNR）和结构相似性（SSIM）的平均值上分别提升了3.56 dB和0.091 2；相较于MSRCR，得到的微光夜视增强图像在PSNR和SSIM的平均值上分别提升了6.82 dB和0.132 1。实验结果表明，所提方法得到的重建图像的清晰度明显得到改善，获得的增强图像的亮度也明显得到提升，而且前二者的融合图像的视觉效果较好，可见所提方法能有效改善夜视图像的复原效果。